WSqD: A Horizon-Free Learning Rate Schedule for Large Model Training
WSqD：面向大规模模型训练的无视界学习率调度
🧭 训练优化 · 学习率调度 ★ 深度解读
University of Pennsylvania
提出结合逆平方根基底与线性退火的 WSqD 调度，理论证明其最优 O(1/√T) 收敛，并在 LLM 续训中无需重调优就能超越调优的 WSD
📌 工作参考价值（4 点）
- 长时间递进式训练/增量训练可直接复用：在电商搜索、推荐模型的持续训练场景中（如每天新增日志继续训练），WSqD 的根基底与训练时长相独立，同一峰值学习率可跨越不同续训长度，避免每次续训重调学习率。
- 设置建议：将 shift 参数 T0 设为初始短跑时长（如 5000 或 10000 步），基学习率由短跑网格搜索确定一次后即可用于后续所有更长工期，工程成本极低。
- 退火阶段的长度：线性退火占比 α 固定为 20%，实践可照搬；续训时从退火前检查点恢复，仅丢弃退火部分的计算，性价比高。
- 适配优化器：论文给出 Adam-style 和 Muon-style 的镜像下降视角诊断，在实际推荐模型训练中可监控梯度 L1 范数或块核范数作为双范数缩放因子的稳定性，以便将实用优化器方向近似视为镜像下降步骤，增强调度理论指导。